home *** CD-ROM | disk | FTP | other *** search
/ Tech Arsenal 1 / Tech Arsenal (Arsenal Computer).ISO / tek-04 / bipl.zip / PROCS.ZIP / SENTEN1.ICN < prev    next >
Text File  |  1992-09-28  |  9KB  |  228 lines
  1. ############################################################################
  2. #
  3. #    File:     sentence.icn
  4. #
  5. #    Subject:  Procedures to generate sentences
  6. #
  7. #    Author:   Peter A. Bigot
  8. #
  9. #    Date:     September 12, 1990
  10. #
  11. ###########################################################################
  12. #
  13. #
  14. # The following rules describe what a 'sentence' is.
  15. # 
  16. # * A sentence begins with a capitol letter.
  17. # 
  18. # * A sentence ends with one or more of '.!?', subject to other
  19. #   constraints.
  20. # 
  21. # * If a period is immediately followed by:
  22. #   - a digit
  23. #   - a letter
  24. #   - one of ',;:'
  25. #   it is not a sentence end.
  26. # 
  27. # * If a period is followed (with intervening space) by a lower case
  28. #   letter, it is not a sentence end (assume it's part of an abbreviation).
  29. #
  30. # * The sequence '...' does not end a sentence.  The sequence '....' does.
  31. # 
  32. # * If a sentence end character appears after more opening parens than
  33. #   closing parens in a given sequence, it is not the end of that
  34. #   particular sentence. (I.e., full sentences in a parenthetical remark
  35. #   in an enclosing sentence are considered part of the enclosing
  36. #   sentence.  Their grammaticality is in question, anyway.) (It also
  37. #   helps with attributions and abbreviations that would fail outside
  38. #   the parens.)
  39. #
  40. # * No attempt is made to ensure balancing of double-quoted (") material.
  41. # 
  42. # * When scanning for a sentence start, material which does not conform is
  43. #   discarded.
  44. # 
  45. # * Corollary: Quotes or parentheses which enclose a sentence are not
  46. #   considered part of it.
  47. # 
  48. # * An end-of-line on input is replaced by a space unless the last
  49. #   character of the line is 'a-' (where 'a' is any letter), in which case
  50. #   the hyphen is deleted.
  51. #
  52. # * Leading and trailing space (tab, space, newline) chars are removed
  53. #   from each line of the input.
  54. #
  55. # * If a blank line is encountered on input while scanning a sentence,
  56. #   the scan is aborted and search for a new sentence begins (rationale:
  57. #   ignore section and chapter headers separated from text by newlines).
  58. #
  59. # * Most titles before names would fail the above constraints.  They are
  60. #   special-cased.
  61. #
  62. # * This does NOT handle when a person uses their middle initial.  To do
  63. #   so would rule out sentences such as 'It was I.',  Six of one, half-dozen
  64. #   of the other--I made my choice.
  65. #
  66. # * Note that ':' does not end a sentence.  This is a stylistic choice,
  67. #   and can be modified by simply adding ':' to sentend below.
  68. #
  69.  
  70. # sentence(f) -- generate English sentences encountered in given file
  71. procedure sentence (infile)
  72.    local
  73.       line,                     # Line read from input, beginning could be sent.
  74.       sentence,                 # A possible sentence
  75.       lstend,                   # Position in line of last checked sentence end
  76.       possentp,                 # Boolean: non-null if line mod context =  sent.
  77.       spaceskip,                # Spaces betwen EOSent and next char (context)
  78.       nextch,                   # Next char after EOSent
  79.       cnt                       # Balanced count of parens in possible sent.
  80.    static
  81.       sentend,                  # Cset for sentence end chars
  82.       wspace,                   # White space characters
  83.       noperend,                 # Chars which, after period, don't end sentence
  84.       titles                    # Titles that can appear before names.
  85.    initial {
  86.       sentend := '.?!'          # Initial value for sentend
  87.       wspace := ' \t\n'         # Space chars
  88.       noperend := &digits ++ &letters ++ ',:;' # No-end after period chars
  89.       titles := ["Mr.", "Mrs.", "Ms.", "Dr.", "Prof.", "Pres."]
  90.       }
  91.  
  92.    line := ""
  93.    # Repeat scanning for and suspending sentences until input fails.
  94.    repeat {
  95.       # Try to find the start of a sentence in the current input string.
  96.       # If there are none, read more from file; fail if file exhausted.
  97.       # Trim trailing space from line (leading skipped by sentence start)
  98.       while not (line ?:= (tab (upto (&ucase)) & tab (0))) do {
  99.          line := trim (read (infile), wspace) | fail
  100.          }
  101.  
  102.       # Find the sentence end.  If there's no viable candidate, read more
  103.       # from input.  Set the last end position to the first char in the
  104.       # sentence.
  105.       lstend := 1
  106.       possentp := &null
  107.       repeat {
  108.          line ? {
  109.             # Skip up to new stuff (scanned in previous lines).
  110.             sentence := tab (lstend)
  111.             while sentence ||:= tab (upto (sentend)) do {
  112.                sentence ||:= tab (many (sentend))
  113.                
  114.                # Verify end-of-sentence.  Assume it doesn't pass.
  115.                possentp := &null
  116.                
  117.                # Check for sentence end conformance.  See what follows it: put
  118.                # that in nextch, and the intervening space before it in
  119.                # spaceskip.
  120.                # Note hack to scan in remainder of line w/o changing &pos.
  121.                nextch := &null
  122.                every tab (0) ? {
  123.                   spaceskip := tab (many (wspace)) | ""
  124.                   nextch := move (1)
  125.                   }
  126.                   
  127.                if /nextch then {
  128.                   # Don't have enough context to ensure a proper sentence end.
  129.                   # Read more, but let readers know that this could be a
  130.                   # sentence end (e.g., in case of EOF on input).
  131.                   possentp := 1
  132.                   break
  133.                   }
  134.                
  135.                # Save position of last checked sentence end, so we don't try to
  136.                # recheck this one.
  137.                lstend := &pos
  138.                
  139.                # .<noperend> doesn't end a sentence.
  140.                if (sentence [-1] == '.' &
  141.                    spaceskip == "" &
  142.                    any (noperend, nextch)) then {
  143.                   next
  144.                   }
  145.                
  146.                # .<spc><lcase> doesn't end sentence
  147.                if (sentence [-1] == '.' &
  148.                    any (&lcase, nextch)) then {
  149.                   next
  150.                   }
  151.  
  152.                # ... doesn't end sentence. .... does.
  153.                if (sentence [-3:0] == "..." &
  154.                    sentence [-4] ~== ".") then {
  155.                   next
  156.                   }
  157.  
  158.                # Number of ')' must be >= number '(' in sentence.
  159.                sentence ? {
  160.                   cnt := 0
  161.                   while tab (upto ('()')) do {
  162.                      if ="(" then {
  163.                         cnt +:= 1
  164.                         }
  165.                      else {
  166.                         =")"
  167.                         cnt -:= 1
  168.                         }
  169.                      }
  170.                   }
  171.                if (cnt > 0) then {
  172.                   next
  173.                   }
  174.  
  175.                # Special case titles that appear before names (otherwise look
  176.                # like sentence ends).
  177.                every t := ! titles do {
  178.                   if (t == sentence [- *t:0]) then {
  179.                      # Break every, next in sentence-end search repeat
  180.                      break next
  181.                      }
  182.                   }
  183.  
  184.                # This is a sentence.  Replace the line with what follows the
  185.                # sentence, and break out of the sentence-end-search loop.
  186.                line := tab (0)
  187.                break break
  188.                }
  189.             }
  190.          # There is no valid sentence end so far.  Remove a trailing hyphen
  191.          # from the current line, or add a word-separating space.
  192.          if line [-1] == '-' & any (&letters, line [-2]) then {
  193.             line := line [1:-1]
  194.             }
  195.          else {
  196.             line ||:= " "
  197.             }
  198.  
  199.          # Read another line.  If can't, then fail--but suspend sentence first
  200.          # if it _could_ be a sentence end.  Trim leading and trailing spaces
  201.          # from the new line--if it's empty, toss the line so far and restart;
  202.          # otherwise, tack it onto the end of the current line.
  203.          if not (newline := read (infile)) then {
  204.             if \possentp then {
  205.                suspend (sentence)
  206.                }
  207.             fail
  208.             }
  209.          if any (wspace, newline) then {
  210.             newline ?:= (tab (many (wspace)), tab (0))
  211.             }
  212.          newline := trim (newline, wspace)
  213.          if (*newline = 0) then {
  214.             if \possentp then {
  215.                suspend (sentence)
  216.                }
  217.             line := ""
  218.             # Break EOS check, next beginning-of-sent scan
  219.             break next
  220.             }
  221.          line ||:= newline
  222.          }
  223.  
  224.       # Suspend the sentence, then loop back for more.
  225.       suspend sentence
  226.       }
  227.    end # procedure sentence
  228.